ミッション完了！あなたはAI言語の基本構成要素をマスターしました！まだ少し違いますね。このシーケンスを再構築してみましょう！知識アップロード済み：トークンとシーケンス … それは … ？ … あるいは …
AIが読むために使う小さな構成要素を何と呼びますか？
正解です！トークンとは、"apple"や"ing"、または"?"のような、AIの言語を構成する小さな単位です。
コンピュータはトークンをどのように表現して理解できるようにしているのですか？
正解です！コンピュータは数値しか理解できないため、すべてのトークンには独自の識別番号が割り当てられます。
"friend"と"ship"のトークンがあるとき、"friendship"という語が数字のリストになった場合、何と呼ばれますか？
完璧です！トークンの番号の順序付きリストはシーケンスと呼ばれます。
なぜシーケンス内のトークンの順序がこれほど重要なのでしょうか？
まさにその通りです！同じトークンでも順序が異なると、文の意味がまったく変わります。
AIが一度に処理できるトークンの最大数は何ですか？
正解です！コンテキストウィンドウとは、会話中にAIが「頭の中に保持できる」情報量の限界です。
ピリオド（.）のような単一の句読点もトークンになることができますか？
正解です！トークンは単語全体、単語の一部、あるいは句読点さえも含めることができます。すべてが構成要素です！
1
トークン化とシーケンス
EvoClass-AI004第4講義
0
🤖 ビープブー！ようこそ、曹長！下のサブトピックを選択して、AIがトークン化を通じて「読む」仕組みを見てみましょう。
Py-Botコマンドライブ
ビープブー！ こんにちは、曹長！AIに読ませるためには、まず単語を小さな「レゴ」ブロックに切り分ける必要があります。コンピュータが単語を数字に変換する方法を学びましょうか？
トピック進捗0%
素晴らしい選択です！トークンはレゴブロックのようなものです。「friendship」のような単語は「friend」や「ship」などの小さな部分に分割されます。たった一つの「.」さえもトークンです！AIにとっては、長い文全体よりもこれらの小さなパーツの方が扱いやすいのです。
1
サブトピック1
トークンとは何か？
"friend"や"ship"のような小さな構成要素にテキストを切り分けること
見てください！トークンを得たら、AIはそれぞれに秘密のID番号を割り当てます。これらの番号が「シーケンス」を作ります。覚えておいてください：順序が大事です！「The dog bit the man」（犬が男を噛んだ）と「The man bit the dog」（男が犬を噛んだ）は同じブロックを使っていますが、順序によって全く別の物語になります！
2
サブトピック2
シーケンスの力
ブロックを順序がすべてである数学的なリストに変えること
ご存知ですか？AIには「コンテキストウィンドウ」があり、それはまるで手の大きさです。ある時点で「頭の中」に保持できるトークンの数に限りがあり、最初の方の内容を忘れ始めてしまうのです！
知っていましたか？
AIには「コンテキストウィンドウ」があり、それはまるで手の大きさです。ある時点で「頭の中」に保持できるトークンの数に限りがあり、最初の方の内容を忘れ始めてしまうのです！
読み込み中…
⭐⭐⭐

ミッション完了！

あなたはトークンの達人です！